FuTransformer：面向 Hopper 的 Llama 式推理 FP8 Prefill 与 INT4 Decode
🧭 LLM 推理 GPU Kernel 与量化优化
在 H100 上实现 Llama 风格 Transformer 推理 CUDA kernel，prefill 用 FP8，decode 用 INT4 权重和旋转 INT4 KV cache，单步解码从 8.1ms 降至 2.8ms
📌 工作参考价值（4 点）
- 在线推荐/Agent 系统中 LLM 推理延迟敏感，可借鉴其 INT4 decode 方案：权重 INT4 + KV cache INT4，在 H100 上 batch=1 的 Llama-3.1-8B 单步从 8.1ms 降到 2.8ms，适合低延迟实时交互。
- 将量化权重和 keys 直接按 Tensor Core fragment layout 存储，避免生成完整中间 tile，减少显存读写和 kernel 复杂度；这项工程优化可复用到线上 embedding lookup 或 attention 模块的低精度部署。
- 使用 block-diagonal Hadamard 旋转抑制异常通道对 KV cache 量化误差的影响（旋转后 cache 量化仅增加 0.20 PPL），对用户行为序列、长历史 cache 的压缩存储有参考价值。
- 把固定 RMSNorm gain 折叠进权重、FP8 输出直接写入并采用 delayed scaling，合并多个独立 kernel 为 GEMM+epilogue，减少 kernel 启动和中间结果搬运，适用于实时特征服务中的算子融合。
KV4-RL：INT4 KV Cache 量化加速 RLVR 异步 Rollout
🧭 RLVR 训练加速 · KV cache 量化
KAIST · NAVER Cloud · AITRICS
提出 KV4-RL，通过校准无关 INT4 KV 量化与选择性 INT8 保护 attention sinks 和近期上下文，在保持训练质量的同时大幅加速 RLVR 异步 rollout
📌 工作参考价值（4 点）
- 在使用 GRPO/RLVR 微调电商/搜索领域的推理型 LLM（如 query 改写、生成式推荐）时，可直接引入 KV cache 量化加速 rollout：长尾生成导致 KV 工作负载集中，KV 量化比权重量化或 weight-activation 量化收益更大。
- 选择性 INT8 保护策略可迁移到其他量化训练场景：对 attention sinks 和最近若干个 token 保持高精度，能有效缩小采样分布偏移（sampler mismatch），避免训练退化，同时保留大部分 INT4 加速。
- 校准无关的 INT4 KV 量化无需校准数据集，适合 RLVR 异步 rollout 中动态变化的 prompt 和生成长度，工程实现门槛低，可与 token-level truncated importance sampling（TIS）结合进一步稳定训练。
- 若业务中有大规模 LLM 自博弈或在线采样（如用 LLM 生成推荐理由、广告文案），可考虑对 KV cache 采用 INT4 量化，尤其当并发解码使 KV 成为主要瓶颈时，能显著降低推理成本而不明显损失最终模型质量。
QuantMLA：面向 MLA 低比特 KV 缓存的功能对齐双路量化
🧭 MLA KV 缓存低比特量化与推理加速 ★ 深度解读
The University of Hong Kong · Meituan LongCat Team · South China University of Technology · Harbin Institute of Technology
针对 MLA 的 content 与 RoPE 双缓存，提出路径专属可离线融合变换与功能对齐目标，实现首个联合 INT4 缓存且精度损失极小
📌 工作参考价值（4 点）
- 部署 DeepSeek-V2/V3、Kimi、LongCat、GLM 等 MLA 架构模型做长上下文 RAG、Agent 记忆或搜索摘要时，可直接采用 content INT4 / RoPE INT4，甚至 content INT2 / RoPE INT4，并配合首 4 个 sink token 和最近 128 token 的 BF16 保护，获得 3.59× KV cache 压缩和 5.168× 吞吐提升，显著降低在线 serving 成本。
- 不要把 MLA 不同缓存一视同仁：同一 cache NMSE 下，RoPE 路径造成的注意力输出失真比 content 路径高 1.94–6.86 倍。如果预算有限或需要先做部分量化，应优先保留 RoPE key cache 更高精度，content cache 可以更激进压缩。
- 量化训练时不要只用 cache reconstruction MSE：可借鉴其功能对齐思路——content 路径用 attention-output reconstruction，RoPE 路径用 positional QK reconstruction；学到的 rotation/scale 可以完全融合进权重，online 无额外变换开销。
- Sink/recent BF16 保护是低成本 trick：在统一 softmax 下按 token 选择 BF16 或 INT4，能有效保持长上下文检索和推理能力，同时减少 preemption，适合直接复用到生产 serving 策略。